iT邦幫忙

2022 iThome 鐵人賽

DAY 6
0
自我挑戰組

AI :PyTorch系列 第 6

第六天 數據集類與加載器的使用

  • 分享至 

  • xImage
  •  

我們訓練AI也不能一股腦把數據丟進去就好了了
所以我們要對數據做預處理
所以就要使用數據集類(dateset)來先儲存數據https://ithelp.ithome.com.tw/upload/images/20220920/20152487cwmniSZV6a.png
我試驗用的數據是 每行第一個單詞是label,接下來的是內容https://ithelp.ithome.com.tw/upload/images/20220920/20152487SUMRcrDnVB.png
最後,用數據加載器對數據進行打亂,分成多個batch(下例子是2個),迭代數據https://ithelp.ithome.com.tw/upload/images/20220920/2015248729dRr45ZE6.png
data_loader類的屬性分別是dataset,batch_size是分成幾個batch,shuffle是是否進行更新迭代
num_work是幾線程工作
這樣子最近本的數據處理就完成了


上一篇
第五天 梯度下降的優化
下一篇
第七天 復習昨天的概念和預習明天
系列文
AI :PyTorch30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言